在引用資料來源的時候,除了上傳csv的選項,另外一個就是BigQuery。
早在開始摸索ML之前,Google的人員就無數次跟我們推薦BigQuery,只是一直覺得沒有應用的場景。
那麼如果是處理表格式
的資料,或許先將資料整理寫進BigQuery裡面,也是一種選擇,搭配Vertex就變成另外的組合技。
因此我們也對於BigQuery的收費方式和適用性稍微評估了一下:
欄位不定
的資料,除非願意投入事先整理的成本,不然不適用log資料隨便亂塞的需求。除了報表類型的資料,我們大部分系統的行為和紀錄會在ELK log,ELK本身已經提供很好的資料儲存和查詢的便利性,BigQuery的角色就相對有點雞肋。不過若未來在做更進階一點的題目,或許經過資料的整合,BigQuery還是可以當作考慮的存放選項。
另外值得一提的一點,研究Vertex的期間,我們意外的發現BigQuery還有一個BigQuery ML的功能。
這也是表格式資料
相比其他資料類型的ML可以運用的方式。
雖然尚未親自試用,看起來十分有趣,Google的策略給人感覺起來,想打造出一個各產品結合的生態系。